用于神经形态计算的生物学启发的尖峰神经元是具有动态状态变量的非线性滤波器 - 与深度学习中使用的无状态神经元模型非常不同。 Notel Intel的神经形态研究处理器Loihi 2的下一个版本支持各种具有完全可编程动态的最有状态尖峰神经元模型。在这里，我们展示了先进的尖峰神经元模型，可用于有效地处理仿真Loihi 2硬件的仿真实验中的流数据。在一个示例中，共振和火（RF）神经元用于计算短时间傅里叶变换（STFT），其具有类似的计算复杂度，但是输出带宽的47倍而不是传统的STFT。在另一个例子中，我们描述了一种使用时间率RF神经元的光学流量估计算法，其需要比传统的基于DNN的解决方案超过90倍。我们还展示了有前途的初步结果，使用BackPropagation培训RF神经元进行音频分类任务。最后，我们表明，跳跃的血管谐振器 - RF神经元的变体 - 重复耳蜗的新特性，并激励一种有效的基于尖峰的谱图编码器。
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
正常的胎儿脂肪组织（AT）发育对于围产期健康至关重要。在或简单地脂肪以脂质形式存储能量。营养不良可能导致过度或耗尽的肥胖。尽管以前的研究表明，AT和围产期结局的量之间存在相关性，但缺乏定量方法，对AT的产前评估受到限制。使用磁共振成像（MRI），可以从两个点Dixon图像中获得整个胎儿的3D脂肪和纯水图像，以在脂质定量时启用。本文是第一个提出一种基于Dixon MRI的胎儿脂肪分割的深度学习方法的方法。它优化了放射科医生的手动胎儿脂肪描述时间，以生成带注释的培训数据集。它由两个步骤组成：1）基于模型的半自动胎儿脂肪分割，由放射科医生进行了审查和纠正； 2）使用在所得的注释数据集中训练的DL网络的自动胎儿脂肪分割。培训了三个DL网络。与手动分割相比，我们显示出分割时间（3:38小时至<1小时）和观察者变异性（0.738至0.906）的显着改善。用3D残差U-NET，NN-UNET和SWIN-UNETR TRONSERTER网络对24个测试用例进行自动分割，平均骰子得分分别为0.863、0.787和0.856。这些结果比手动观察者的变异性更好，并且与自动成人和小儿脂肪分割相当。一名放射科医生审查并纠正了六个新的独立案例，并使用最佳性能网络进行了细分，导致骰子得分为0.961，校正时间显着减少了15:20分钟。使用这些新颖的分割方法和短暂的MRI获取时间，可以在临床和大型果园研究中量化全身皮下脂质的单个胎儿。
translated by 谷歌翻译
已知熵正则化可改善在顺序决策问题中的探索。我们表明，这种相同的机制也可以导致在优化和估计的结构匪徒设置中对平均奖励的几乎偏差和较低的差异估计。最近已证明平均奖励估计（即人口估计）任务对于法律限制通常需要精确估计人口指标的公共政策环境至关重要。我们表明，利用熵和KL差异可以比现有基准在奖励和估计器方差之间取舍更好的权衡，同时保持几乎没有偏见。熵正则化的这些特性说明了桥接最佳探索和估计文献的令人兴奋的潜力。
translated by 谷歌翻译
基于自我监督的基于学习的预科可以使用小标签的数据集开发可靠和广义的深度学习模型，从而减轻了标签生成的负担。本文旨在评估基于CL的预处理对可转介的性能与非转介糖尿病性视网膜病（DR）分类的影响。我们已经开发了一个基于CL的框架，具有神经风格转移（NST）增强，以生成具有更好表示和初始化的模型，以检测颜色底面图像中的DR。我们将CL预估计的模型性能与用成像网权重预测的两个最先进的基线模型进行了比较。我们通过减少标记的训练数据（降至10％）进一步研究模型性能，以测试使用小标签数据集训练模型的鲁棒性。该模型在EYEPACS数据集上进行了培训和验证，并根据芝加哥伊利诺伊大学（UIC）的临床数据进行了独立测试。与基线模型相比，我们的CL预处理的基础网模型具有更高的AUC（CI）值（0.91（0.898至0.930），在UIC数据上为0.80（0.783至0.820）和0.83（0.783至0.820）（0.801至0.853）。在10％标记的培训数据时，在UIC数据集上测试时，基线模型中的FoldusNet AUC为0.81（0.78至0.84），比0.58（0.56至0.64）和0.63（0.56至0.64）和0.63（0.60至0.66）。基于CL的NST预处理可显着提高DL分类性能，帮助模型良好（可从Eyepacs转移到UIC数据），并允许使用小的带注释的数据集进行培训，从而减少临床医生的地面真相注释负担。
translated by 谷歌翻译
知识图（kgs）以（头，谓词，尾部） - 轨道的形式存储信息。为了增强具有新知识的公斤，研究人员提出了kg完成（kgc）任务的模型，例如链接预测；即，回答（H; P;？）或（？; P; t）查询。这种模型通常在固定测试集上使用平均指标进行评估。尽管对于跟踪进度有用，但平均的单分数指标无法透露模型到底学到的或未能学习的内容。为了解决这个问题，我们提出了KGXBoard：一个交互式框架，用于对有意义的数据子集进行精细颗粒评估，每个框架都测试了KGC模型的个人和可解释功能。在我们的实验中，我们强调了使用KGXBoard发现的发现，这是无法通过标准平均单分数指标来检测到的。
translated by 谷歌翻译
因果推理提供了一种语言，以提出纯粹统计关联以外的重要介入和反事实问题。例如，在医学成像中，我们可能希望研究遗传，环境或生活方式因素对解剖表型正常和病理变异的因果关系。但是，尽管可以可靠地构建从自动图像分割中提取的3D表面网格的解剖形状模型，但缺乏计算工具来实现有关形态变化的因果推理。为了解决这个问题，我们提出了深层结构性因果形状模型（CSM），该模型利用了高质量的网格生成技术，从几何深度学习，在深层结构性因果模型的表达框架内。 CSM可以通过反事实网格产生来实现特定于受试者的预后（“如果患者大十岁，该患者的大脑结构将如何变化？”），这与大多数当前有关纯粹人口级统计形状建模的作品形成鲜明对比。我们通过许多定性和定量实验利用了3D脑结构的大数据集，证明了Pearl因果关系层次结构的所有级别CSM的能力。
translated by 谷歌翻译
本文介绍了一种新的，高度结果的设置，用于将计算机视觉用于环境可持续性。浓缩动物喂养行动（CAFO）（又称密集牲畜农场或“工厂农场”）产生了巨大的肥料和污染。在冬季，倾倒粪便构成了重大的环境风险，并在许多州违反了环境法。然而，联邦环境保护署（EPA）和州机构主要依靠自我报告来监视此类“土地应用”。我们的论文做出了四个贡献。首先，我们介绍了CAFO和土地应用的环境，政策和农业环境。其次，我们提供了一个新的高效率数据集（每天至每周至每周）3M/像素卫星图像，从2018 - 20年使用威斯康星州的330个CAFO，并带有手工标记的土地应用实例（n = 57,697）。第三，我们开发了一个对象检测模型，以预测土地应用和一个系统以实时进行推断。我们表明，该系统似乎有效地检测到土地应用（PR AUC = 0.93），并且我们发现了几个异常设施，这些设施似乎定期适用。最后，我们估计2021/22冬季土地应用事件的人口流行率。我们表明，土地应用的普遍性要比设施自我报告的要高得多。该系统可以由环境监管机构和利益集团使用，该系统是在过去冬天根据该系统进行的试点探访的。总体而言，我们的应用程序展示了基于AI的计算机视觉系统解决环境符合近日图像的主要问题的潜力。
translated by 谷歌翻译
对训练有素的ML模型进行连续监控，以确定其预测何时应该和不应信任的预测对于他们的安全部署至关重要。这样的框架应该是高性能，可解释的，事后和可行的。我们提出了信任范围，这是连续模型监视的“不信任”评分框架。我们使用一系列潜在空间嵌入序列评估每个输入样本模型预测的可信度。具体而言，（a）我们的潜在空间不信任得分估计了潜在空间中的距离指标（马哈拉氏症距离）和相似性指标（余弦相似性），并且（b）我们的顺序不信任得分决定了过去输入顺序的相关性偏差非参数基于滑动窗口的表示，用于可操作的连续监视。我们通过两个下游任务评估信任量：（1）分布转移的输入检测和（2）数据漂移检测，跨越不同的域 - 使用公共数据集的音频和视觉，并进一步基准了我们在具有挑战性的现实，现实世界中的脑电图（EEG）（EEG）（EEG） ）数据集用于癫痫发作。我们的潜在空间不信任得分以84.1（视觉），73.9（音频），77.1（临床脑电图）的AUROCs获得最新的结果，优于10分以上。我们暴露了对输入语义内容不敏感的流行基线中的关键故障，使它们不适合现实世界模型监视。我们表明，我们的顺序不信任得分达到了高漂移检测率：超过90％的流显示所有域的误差<20％。通过广泛的定性和定量评估，我们表明我们的不信任分数更强大，并为轻松采用实践提供了解释性。
translated by 谷歌翻译
该报告概述了建模变革性AI风险（MTAIR）项目的工作，试图在有关高级AI的灾难性风险及其之间的关系中绘制关键的假设，不确定性和分歧。这是基于Ben Cottier和Rohin Shah的较早图，它们以视觉上列出了一些关键分歧（“ Cruxes”），并进行了一些解释。根据广泛的文献综述和与专家的参与，该报告解释了涉及的问题的模型以及最初的基于软件的实施，该实施可以纳入概率估计或其他定量因素，以实现探索，计划和/或决策支持。通过将各种辩论和讨论中的信息收集到一个更连贯的演讲中，我们希望能够更好地讨论和辩论有关的问题。该模型从通过类比的推理和对人工智能的一般性信念进行讨论开始。此后，它提出了一个不同的路径模型，并为高级机器智能提供了技术，以及这些系统能力的进步如何进行的模型，包括有关自我支持，不连续改进的辩论以及的可能性以及分布式，非代理高级智能或较慢的改进。该模型还专门研究了学习优化的问题，以及机器学习系统是否会创建MESA-OPTIMIZES。然后检查了不同的安全研究对先前问题集的影响，以了解研究以及如何在实现更安全的系统中有用。最后，我们讨论了一个不同的故障模式的模型以及控制或接管场景的丧失。
translated by 谷歌翻译